Spark和Scala当中的collect方法的用法和例子 | 您所在的位置:网站首页 › spark collect算子 › Spark和Scala当中的collect方法的用法和例子 |
collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。Spark的collect方法,是Action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据 汇集到一个driver节点上,将数据用数组存放,占用了jvm堆内存,非常用意造成内存溢出,只用作小型数据的观察。*/ val arr = res.collect(); println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4)); } } 更多请看下节:https://blog.csdn.net/qq_44596980/article/details/93383684 |
CopyRight 2018-2019 实验室设备网 版权所有 |